Перейти к основному содержимому

Требования к серверу

Характеристики​

Для установки платформы Compressa с модулем InsightStream RAG рекомендуется сервер со следующими характеристиками:

  • Linux-сервер
  • 2 GPU (видеокарты) A100 40GB
  • 8 потоков CPU
  • 160 GB RAM
  • 1 TB места на диске

Если вас устраивает более низкая производительность / качество ответов InsightStream RAG или вы не будете устанавливать данный модуль, требования к серверу могут быть снижены.

Данная конфигурация имеет ограничения по нагрузке. При масштабировании вам может понадобится расширить доступные мощности.

Драйвера CUDA​

Необходимо установить последние совместимые драйвера.

примечание

Версию драйвера CUDA по умолчанию можно установить с помощью следующих команд:

sudo apt update
sudo apt install software-properties-common -y
sudo apt install ubuntu-drivers-common -y
sudo ubuntu-drivers autoinstall
sudo apt install nvidia-cuda-toolkit

Docker​

Инструкция по установке для Ubuntu:
https://docs.docker.com/engine/install/ubuntu/

Необходимо установить версию, которая поддерживает Docker Compose V2.

Nvidia Container Toolkit​

Инструкция по установке для Linux:
https://docs.nvidia.com/datacenter/cloud-native/container-toolkit/latest/install-guide.html